const Crawler = require('../libs/crawler');
//   { crawler } = require('../config/config');

Crawler({
  url: 'https://yuedu.baidu.com',
  callback() {
    const $ = window.$,
      $item = $('.yd-reco-wrap .bd ul .book');

    const data = [];

    $item.each((index, item) => {
      const $item = $(item);

      const dataItem = {
        bid: index + 1,
        field: Number($item.attr('data-track').split(',')[0]) + 1,
        imgUrl: $item.find('.book-img').prop('src'),
        bookTitle: $item.find('.book-title').text(),
        bookPrice: $item.find('.book-price').text().slice(1),
        imgKey: '',
      }

      data.push(dataItem);
    });

    return data;
  }
});




// const base_url = 'https://wenku.baidu.com/p/',
//     url = [`${base_url}守候爱的铁树`,
//            `${base_url}shoudushifan9`,
//            `${base_url}北京周垂坤律师`,
//            `${base_url}旗胜管理咨询`,
//     ];

// const data = [];

// async function Crawler() {
//     try {
//         const bs = await pt.launch(),
//             pg = await bs.newPage();

//         for (var i = 0; i < url.length; i++) {
//             await pg.goto(url[i], {
//                 timeout: 0,
//                 waitUntil: 'networkidle2'
//             });
           
//             const result = await pg.evaluate(function () {
//                 const $ = window.$,
//                       $item = $('.brief-wrap .con');

//                 const dataItem = {
//                     aid: $item.find('.avatar img').prop('src').match(/\/item\/(.*?).jpg/)[1],
//                     name: $item.find('.author').text(),
//                     authorPosition: $item.find('.title').text(),//作者的职位
//                     imgUrl: $item.find('.avatar img').prop('src'),
//                     desStatistics: $item.find('.des .statistics').text(),
//                     desDetail: $item.find('.des .detail').text(),
//                     imgKey: ''
//                 }

//                 return dataItem;
//             });

//             data.push(result);
//         }

//         await bs.close();

//         process.send(data);

//         setTimeout(() => {
//             process.exit(0);
//         }, 1000);
//     } catch (error) {
//         console.log(error);
//     }
// }

// Crawler();

















// const Crawler = require('../libs/crawler');
//     //   { crawler } = require('../config/config');

// Crawler({
//   url: crawler.url.course,
//   field: 'course',//这个字段是为了解决爬取到第二页的数据做准备的，因为第二页的数据是通过点击按钮触发ajax请求后渲染的，普通的爬取是爬不到的
//   callback () {
//   	const $ = window.$,
//   	      $item = $('.course-card-list-multi-wrap .course-card-item');

//   	const data = [];

//   	$item.each((index, item) => {
//       const $el = $(item),
//             $itemLk = $el.find('.item-img-link');

//       const dataItem = {
//       	cid: $itemLk.attr('data-id'),
//       	href: $itemLk.prop('href'),
//       	posterUrl: $itemLk.find('.item-img').prop('src').replace('webp', ''),
//       	courseName: $itemLk.find('.item-img').prop('title'),
//       	price: $el.find('.item-price').text() == '免费' ? '0' : $el.find('.item-price').text().slice(1),
//       	description: $el.find('.item-status-step').text(),
//       	studentCount: parseInt($el.find('.item-user').text()),
//       	posterKey: ''
//       }

//       data.push(dataItem);
//   	});

//   	return data;
//   }
// });